С высокой точностью". Создана первая машина для чтения мыслей

В Университете Осаки разработали нейросеть, способную реконструировать изображение, на которое в данный момент смотрит человек. Анализируя данные функциональной МРТ, система довольно точно воспроизводит не только форму, но и цвета объектов. Ученые заговорили о первой в мире машине для чтения мыслей.
Область применения перспективной технологии компьютерного зрения чрезвычайно широка — от коммуникации парализованных людей до записи снов человека и изучения того, как различные животные воспринимают окружающий мир. Японские исследователи воспользовались популярной программой генерации картинок с помощью текста Stable Diffusion. Эта нейросеть с открытым кодом по структуре не отличается от других генеративных LLM (Large language models, больших языковых моделей), таких как DALL-E2 от компании OpenAI (создателя чат-бота ChatGPT) или Midjourney. В основе — диффузия, метод машинного обучения, когда визуальный образ формируется посредством последовательного приближения.
Каждая новая итерация базируется на очередной текстовой подсказке. Японцы добавили к стандартной схеме Stable Diffusion дополнительный этап обучения. Нейросеть сопоставляла данные мозговой активности четырех участников эксперимента, которым демонстрировали разные фотографии с текстовым описанием изображений. В качестве исходных сигналов взяли данные функциональной магнитно-резонансной томографии (фМРТ), полученные на мощных аппаратах с индукцией магнитного поля 7 Тл. Фиксируя потоки молекул кислорода, необходимого нейронам для работы, эти приборы способны отслеживать, какие области мозга, ответственные за те или иные чувства или эмоции, наиболее активны. На этапе машинного обучения участникам показывали десять тысяч изображений, а система собирала генерируемые при этом паттерны фМРТ, которые затем расшифровывал искусственный интеллект. Часть сканов мозга не использовали — из них потом составили тестовое задание для машины.